InfoSpider 您所在的位置:网站首页 爬虫工具箱 网站 InfoSpider

InfoSpider

2024-07-06 13:08| 来源: 网络整理| 查看: 265

(给机器学习算法与Python学习加星标,提升AI技能)

开源最前线(ID:OpenSourceTop) 猿妹整编

国内一位开发者在 GitHub 上开源了个集众多数据源于一身的爬虫工具箱——InfoSpider,一不小心就火了!!!

有多火呢?开源没几天就登上GitHub周榜第四,标星1.7K,累计分支 255 个(GitHub地址:https://github.com/kangvcar/InfoSpider)

InfoSpider 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解自己的信息。 

目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

根据创建者介绍,InfoSpider 具有以下特性:

安全可靠:本项目为开源项目,代码简洁,所有源码可见,本地运行,安全可靠。

使用简单:提供 GUI 界面,只需点击所需获取的数据源并根据提示操作即可。

结构清晰:本项目的所有数据源相互独立,可移植性高,所有爬虫脚本在项目的 Spiders 文件下。

数据源丰富:本项目目前支持多达24+个数据源,持续更新。

数据格式统一:爬取的所有数据都将存储为json格式,方便后期数据分析。

个人数据丰富:本项目将尽可能多地为你爬取个人数据,后期数据处理可根据需要删减。

数据分析:本项目提供个人数据的可视化分析,目前仅部分支持。

InfoSpider使用起来也非常简单,你只需要安装python3和Chrome浏览器,运行 python3 main.py,在打开的窗口点击数据源按钮, 根据提示选择数据保存路径,接着输入账号密码,就会自动爬取数据,根据下载的目录就可以查看爬下来的数据。

是不是很简单呢,如果你对InfoSpider也感兴趣,赶紧试一下。

推荐阅读 从AlexNet到BERT:深度学习中那些最重要idea的最简单回顾 零基础入门人工智能有门槛吗?学会这些就够了 人生苦短,我用PyCharm 你可能不知道的 Python 技巧


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有